BrazeのCurrentsを使ってS3に書き出したデータをBigQueryに自動転送してみた

BrazeのCurrentsを使ってS3に書き出したデータをBigQueryに自動転送してみた

Braze➡︎S3➡︎BigQueryの連携をやってみた!
Clock Icon2023.01.12

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Brazeブロガーの國崎です。
今回はBrazeのCurrentsを使ってAmazon S3に書き出したデータをBigQueryに転送するという作業をやってみました。

以前Braze➡︎GCS➡︎BiqQueryの記事はアップしましたが、今回はGCSをS3に変えての手順になります。
ちなみに以前の記事が気になるという方は以下よりご確認ください。

前提条件

当記事は以下条件を満たしている方向けの記事となります。

  • Google Cloudのプロジェクト設定は完了している
  • Brazeの契約プランにCurrentsを入れている
  • Braze➡︎S3のCurrentsを使った書き出しはできている

Braze➡︎S3のCurrents手順が気になるという方は以下で紹介する記事をご覧ください。

S3でアクセスキーIDとシークレットキーを発行

S3からBigQueryにデータを転送する際ですが、S3のアクセスキーIDとシークレットキーが必要になります。
既にこの時点ではBraze➡︎S3のCurrents設定でIAMポリシーが作成されているはずなので、その前提での手順となります。

まずIAM>ユーザーで遷移し、ユーザーを追加をクリックします。
s3_Bq1

ユーザー名を入力し、アクセスキー・プログラムによるアクセスにチェックをいれて次のステップに進みます。
s3_Bq2

ユーザーをグループに追加を選択し、グループの作成をクリック。
s3_Bq3

表示された画面でグループ名を入力し、Braze➡︎S3のCurrentsで使用しているポリシーにチェックを入れてグループの作成をクリック。
次のステップに進みます。
s3_Bq4

タグの追加は空白でOK。
s3_Bq5

内容に問題なければユーザーの作成をします。
s3_Bq6

アクセスキーIDとシークレットアクセスキーが作成されるので、あなただけの秘密にしてください。
s3_Bq7

BigQueryでS3からのデータ転送を設定

続いてBigQueryでの作業です。
まずテーブルを作成します。
s3_Bq8

この際のテーブルの作成元は空でOKです。
送信先のテーブルの名前だけ決めて、テーブルを作成をクリックします。
s3_Bq9

左メニューのデータ転送を選択。
s3_Bq10

転送を作成をクリックし、以下各項目を入力します。

  • ソース…Amazon S3
  • 転送構成名…なんでもOK
  • スケジュールオプション…自動転送したいスケジュール
  • データセット…今回作成したテーブルのデータセット
  • Destination table…今回作成したテーブル名
  • Amazon S3 URI…S3から転送したいオブジェクトのパス(末尾に*をつけると配下全部になる)
  • Access key ID…S3で作成したアクセスキーID
  • Secret access key…S3で作成したシークレットキー
  • File format…AVRO

上を入力し保存をするとデータ転送が実行されて完了すると以下の表記になります。
s3_Bq11

完了後テーブルの中身を確認するとCurrrentsのデータが転送されているのが確認できました。
s3_Bq12

まとめ

以上、Braze➡︎S3➡︎BigQueryのデータ転送の手順紹介でした。
BigQueryに反映したデータはLookerなどのBIツールにも連携できます。

BrazeとLookerの連携についてはまた別記事で紹介しようと思います。

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.